Recent neural rendering approaches greatly improve image quality, reaching near photorealism. However, the underlying neural networks have high runtime, precluding telepresence and virtual reality applications that require high resolution at low latency. The sequential dependency of layers in deep networks makes their optimization difficult. We break this dependency by caching information from the previous frame to speed up the processing of the current one with an implicit warp. The warping with a shallow network reduces latency and the caching operations can further be parallelized to improve the frame rate. In contrast to existing temporal neural networks, ours is tailored for the task of rendering novel views of faces by conditioning on the change of the underlying surface mesh. We test the approach on view-dependent rendering of 3D portrait avatars, as needed for telepresence, on established benchmark sequences. Warping reduces latency by 70$\%$ (from 49.4ms to 14.9ms on commodity GPUs) and scales frame rates accordingly over multiple GPUs while reducing image quality by only 1$\%$, making it suitable as part of end-to-end view-dependent 3D teleconferencing applications. Our project page can be found at: https://yu-frank.github.io/lowlatency/.

神经辐射场（NERFS）增加了新型视图合成和场景重建的重建细节，其应用程序从大型静态场景到动态人类运动不等。但是，此类神经领域的分辨率和无模型性质的增加是以高训练时间和过度记忆要求为代价的。最近的进步通过使用互补的数据结构改善了推理时间，但这些方法不适合动态场景，并且通常会增加记忆消耗。减少培训时所需的资源几乎没有做到。我们提出了一种方法，通过部分共享相邻样本点的评估来利用NERF基于样本的计算的冗余。我们的UNERF体系结构的灵感来自UNET，该架构在网络中间减少空间分辨率，并在相邻样本之间共享信息。尽管这种变化违反了NERF方法中的严格和有意识的依赖性外观和无关的密度估计的分离，但我们表明它改善了新型观点的综合。我们还引入了一种替代性亚采样策略，该策略共享计算，同时最大程度地减少视图不变性的侵犯。 UNERF是原始NERF网络的插件模块。我们的主要贡献包括减少记忆足迹，提高准确性以及在训练和推理期间摊销的处理时间减少。在当地的假设较弱的情况下，我们在各种神经辐射场任务上实现了改进的资源利用。我们演示了对静态场景的新观点综合以及动态人类形状和运动的应用。

诸如关键点之类的结构化表示形式被广泛用于姿势传输，条件图像生成，动画和3D重建。但是，他们的监督学习需要每个目标域的昂贵注释。我们提出了一种自我监督的方法，该方法学会从外观上脱离对象结构，并用直边链接的2D关键点的图形。只有描绘同一对象类的图像集合，都学会了关键点的位置及其成对边缘权重。该图是可以解释的，例如，当应用于显示人的图像时，自动链接会恢复人类骨架拓扑。我们的关键要素是i）一个编码器，该编码器可预测输入图像中的关键点位置，ii）共享图作为一个潜在变量，该图形在每个图像中链接了相同的对键点，iii）一个中间边缘映射，结合了潜在图形边缘权重和关键点的位置以柔软，可区分的方式以及iv）在随机掩盖的图像上的介入目标。尽管更简单，但自动链接在已建立的关键点上优于现有的自我监督方法，并构成估计基准，并为更多样化的数据集上的结构调节生成模型铺平了道路。

伤害分析可能是基于深度学习的人类姿势估计的最有益的应用之一。为了促进进一步研究本主题，我们为高山滑雪提供了伤害特定的2D数据集，总计533个图像。我们进一步提出了一个后处理程序，它将旋转信息与简单的运动模型相结合。我们可以将秋季情况的检测结果提高到21％，关于pck@0.2指标。

本文解决了3D人类姿势估计模型的交叉数据集泛化问题。在新数据集上测试预先训练的3D姿势估计值会导致主要的性能下降。以前的方法主要通过改善培训数据的多样性来解决这个问题。我们认为单独的多样性是不够的，并且训练数据的特征需要适应新数据集的那些，例如相机观点，位置，人类动作和体型。为此，我们提出了一种完全的端到端框架，该端到端框架从源数据集生成合成3D人体运动，并使用它们来微调3D姿势估计器。适配遵循对抗培训计划。来自源3D构成发电机生成一系列3D姿势和用于将生成的姿势投影到新颖视图的相机方向。如果没有任何3D标签或相机信息，则成功地学习从目标数据集创建合成3D构成，同时仅在2D姿势培训。在Human3.6m，MPI-INF-3DHP，3DPW和SKI-Pose数据集的实验中，我们的方法优于跨数据集评估的先前工作14％和以前的半监督学习方法，使用部分3D注释达到16％。

从单个图像的人类姿势估计是一个充满挑战的问题，通常通过监督学习解决。不幸的是，由于3D注释需要专用的运动捕获系统，因此许多人类活动尚不存在标记的培训数据。因此，我们提出了一种无监督的方法，该方法学会从单个图像预测3D人类姿势，同时只有2D姿势数据培训，这可能是人群的并且已经广泛可用。为此，我们估计最有可能过于随机投影的3D姿势，其中使用2D姿势的归一化流程估计的可能性。虽然以前的工作需要在训练数据集中的相机旋转上需要强大的前锋，但我们了解了相机角度的分布，显着提高了性能。我们的贡献的另一部分是通过首先将2D突出到线性子空间来稳定高维3D姿势数据上的标准化流动的训练。在许多指标中，我们优于基准数据集Humanets3.6m和MPI-INF-3DHP的最先进的无人监督的人类姿势估算方法。

将图像分段为其部件是频繁预处理，用于高级视觉任务，例如图像编辑。然而，用于监督培训的注释面具是昂贵的。存在弱监督和无监督的方法，但它们依赖于图像对的比较，例如来自多视图，视频帧和单个图像的图像转换，这限制了它们的适用性。为了解决这个问题，我们提出了一种基于GAN的方法，可以在潜在掩模上生成图像，从而减轻了先前方法所需的完整或弱注释。我们表明，当在明确地定义零件位置的潜在关键点上以分层方式调节掩模时，可以忠实地学习这种掩模条件的图像生成。在不需要监督掩模或点的情况下，该策略增加了对观点和对象位置变化的鲁棒性。它还允许我们生成用于训练分段网络的图像掩码对，这优于已建立的基准的最先进的无监督的分段方法。

生成的对抗网络（GANS）已经实现了图像生成的照片逼真品质。但是，如何最好地控制图像内容仍然是一个开放的挑战。我们介绍了莱特基照片，这是一个两级GaN，它在古典GAN目标上训练了训练，在一组空间关键点上有内部调节。这些关键点具有相关的外观嵌入，分别控制生成对象的位置和样式及其部件。我们使用合适的网络架构和培训方案地址的一个主要困难在没有领域知识和监督信号的情况下将图像解开到空间和外观因素中。我们展示了莱特基点提供可解释的潜在空间，可用于通过重新定位和交换Keypoint Embedding来重新安排生成的图像，例如通过组合来自不同图像的眼睛，鼻子和嘴巴来产生肖像。此外，关键点和匹配图像的显式生成启用了一种用于无监督的关键点检测的新的GaN的方法。

在感官替代领域的长期目标是通过可视化音频内容来实现对聋人的声音感知。与语音和文本或文本和图像之间的现有模型不同，我们针对即时和低级音频到视频翻译，适用于通用环境声音以及人类语音。由于这种替代是人为的，没有监督学习的标签，我们的核心贡献是通过高级约束来建立从音频到视频的映射。对于言语，我们通过将它们映射到共同的解除不诚格的潜在空间来释放型号（性别和方言）的内容（电话）。包括用户学习的定性和定量结果表明，我们的未配对翻译方法在生成的视频中保持了重要的音频功能，并且面孔和数字的视频非常适合可视化可以通过人类解析的高维音频特征和区分声音，单词和扬声器。

We propose a CNN-based approach for 3D human body pose estimation from single RGB images that addresses the issue of limited generalizability of models trained solely on the starkly limited publicly available 3D pose data. Using only the existing 3D pose data and 2D pose data, we show state-of-the-art performance on established benchmarks through transfer of learned features, while also generalizing to in-the-wild scenes. We further introduce a new training set for human body pose estimation from monocular images of real humans that has the ground truth captured with a multi-camera marker-less motion capture system. It complements existing corpora with greater diversity in pose, human appearance, clothing, occlusion, and viewpoints, and enables an increased scope of augmentation. We also contribute a new benchmark that covers outdoor and indoor scenes, and demonstrate that our 3D pose dataset shows better in-the-wild performance than existing annotated data, which is further improved in conjunction with transfer learning from 2D pose data. All in all, we argue that the use of transfer learning of representations in tandem with algorithmic and data contributions is crucial for general 3D body pose estimation.